Phân phối xác suất là gì? Các bài nghiên cứu khoa học

Khái niệm phân phối xác suất

Phân phối xác suất (probability distribution) là một mô hình toán học mô tả cách xác suất được gán cho các giá trị hoặc tập giá trị có thể xảy ra của một biến ngẫu nhiên. Biến ngẫu nhiên có thể là rời rạc hoặc liên tục, tùy theo bản chất của không gian mẫu. Phân phối xác suất đóng vai trò then chốt trong thống kê, xác suất, khoa học dữ liệu, tài chính định lượng, vật lý thống kê, và học máy.

Với biến ngẫu nhiên rời rạc $X$, xác suất được định nghĩa qua hàm khối xác suất (PMF - probability mass function), thỏa mãn:

$P(X = x_i) = p_i, \quad \sum_i p_i = 1$

Với biến ngẫu nhiên liên tục, phân phối được biểu diễn qua hàm mật độ xác suất (PDF - probability density function), với điều kiện:

$f(x) \geq 0, \quad \int_{-\infty}^{\infty} f(x) dx = 1$

Phân phối xác suất cho phép mô hình hóa sự bất định, tính toán xác suất các sự kiện và là nền tảng của mọi quá trình suy luận thống kê.

Phân loại phân phối xác suất

Các phân phối xác suất thường được chia thành hai nhóm lớn: phân phối rời rạc và phân phối liên tục. Phân phối rời rạc gán xác suất cho từng giá trị riêng lẻ, trong khi phân phối liên tục mô tả xác suất thông qua tích phân mật độ trên một khoảng.

Ví dụ, phép tung đồng xu là một biến ngẫu nhiên rời rạc, trong khi chiều cao người trưởng thành là biến ngẫu nhiên liên tục. Việc phân loại đúng loại biến là bước đầu tiên để lựa chọn mô hình thống kê thích hợp.

Bảng dưới đây trình bày một số phân phối xác suất tiêu biểu:

Loại	Tên phân phối	Đặc điểm chính	Ứng dụng
Rời rạc	Bernoulli	Hai giá trị: 0 hoặc 1	Mô hình hóa thử nghiệm nhị phân
Rời rạc	Binomial	Tổng n thử Bernoulli	Phân tích số lần thành công
Rời rạc	Poisson	Tần suất sự kiện trên đơn vị thời gian	Phân tích lỗi, cuộc gọi đến
Liên tục	Normal	Phân phối chuẩn hình chuông	Đo lường tự nhiên, phân tích tài chính
Liên tục	Exponential	Khoảng thời gian giữa các sự kiện	Phân tích thời gian sống
Liên tục	Uniform	Xác suất đồng đều trên đoạn [a, b]	Mô phỏng, kiểm thử ngẫu nhiên

Phân phối rời rạc

Phân phối rời rạc gán xác suất cho từng giá trị rời rạc cụ thể của biến. Các phân phối thường gặp gồm:

• Bernoulli: Một biến nhận giá trị 1 (thành công) với xác suất $p$, và 0 (thất bại) với xác suất $1-p$
• Binomial: Tổng của $n$ phép thử Bernoulli độc lập, xác suất thành công không đổi
• Poisson: Mô tả số sự kiện xảy ra trong khoảng thời gian cố định khi các sự kiện xảy ra ngẫu nhiên và độc lập

Công thức xác suất phân phối nhị thức như sau:

$P(X = k) = \binom{n}{k} p^k (1 - p)^{n-k}$

Trong đó $k$ là số lần thành công, $n$ là số phép thử, và $p$ là xác suất thành công mỗi lần. Với Poisson, hàm xác suất là:

$P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!}$

Trong đó $\lambda$ là số sự kiện trung bình xảy ra trong đơn vị thời gian.

Phân phối liên tục

Phân phối liên tục không gán xác suất cho một điểm cụ thể mà cho một khoảng giá trị. Điều này phản ánh thực tế rằng xác suất để biến liên tục nhận một giá trị chính xác là bằng 0, và chỉ các khoảng mới có xác suất dương.

Các phân phối liên tục phổ biến:

• Normal: Có dạng hình chuông, trung tâm là giá trị trung bình $\mu$, lan rộng theo độ lệch chuẩn $\sigma$
• Exponential: Mô hình hóa khoảng thời gian giữa hai sự kiện xảy ra độc lập
• Uniform: Xác suất phân bố đều trên đoạn từ $a$ đến $b$

Hàm mật độ xác suất của phân phối chuẩn là:

$f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left( -\frac{(x - \mu)^2}{2\sigma^2} \right)$

Phân phối chuẩn đóng vai trò then chốt trong thống kê do định lý giới hạn trung tâm, cho biết tổng của nhiều biến ngẫu nhiên độc lập có khuynh hướng tiến về phân phối chuẩn khi số lượng tăng.

Các tham số đặc trưng của phân phối

Phân phối xác suất được mô tả thông qua các tham số thống kê cơ bản giúp hiểu rõ đặc tính của biến ngẫu nhiên. Những tham số này bao gồm trung bình, phương sai, độ lệch chuẩn và các đại lượng mô tả hình dạng phân phối như độ lệch (skewness) và độ nhọn (kurtosis).

Giá trị kỳ vọng hay trung bình của một biến ngẫu nhiên $X$ được định nghĩa như sau:

$\mathbb{E}[X] = \sum_i x_i p_i \quad \text{(rời rạc)}, \quad \mathbb{E}[X] = \int_{-\infty}^\infty x f(x) dx \quad \text{(liên tục)}$

Phương sai đo lường mức độ phân tán của giá trị xung quanh trung bình:

$\mathrm{Var}(X) = \mathbb{E}[(X - \mu)^2]$

Độ lệch chuẩn là căn bậc hai của phương sai, biểu diễn đơn vị đo cùng với biến gốc. Ngoài ra, skewness và kurtosis giúp mô tả độ nghiêng và độ nhọn của đồ thị phân phối so với phân phối chuẩn.

Hàm phân phối tích lũy (CDF)

Hàm phân phối tích lũy (cumulative distribution function - CDF) biểu diễn xác suất để biến ngẫu nhiên nhận giá trị nhỏ hơn hoặc bằng một giá trị cụ thể $x$:

$F(x) = P(X \leq x)$

Với biến rời rạc, CDF là tổng của các xác suất:

$F(x) = \sum_{x_i \leq x} P(X = x_i)$

Với biến liên tục, CDF là tích phân của hàm mật độ:

$F(x) = \int_{-\infty}^x f(t) \, dt$

CDF luôn tăng đơn điệu từ 0 đến 1, liên tục từ bên phải, và đóng vai trò quan trọng trong việc tạo mẫu ngẫu nhiên và mô phỏng Monte Carlo.

Ứng dụng trong thống kê và học máy

Phân phối xác suất là công cụ nền tảng cho mọi phương pháp thống kê và mô hình học máy xác suất. Trong thống kê, phân phối mô tả dữ liệu, thiết lập giả thuyết, tính khoảng tin cậy và thực hiện kiểm định thống kê.

Trong học máy, các mô hình như Naive Bayes, Gaussian Mixture Models (GMMs), Hidden Markov Models (HMMs) và Bayesian Networks đều dựa vào phân phối xác suất để mô tả dữ liệu và sự không chắc chắn.

• Naive Bayes giả định thuộc tính độc lập có phân phối chuẩn
• GMM giả định dữ liệu được tạo từ tổ hợp nhiều phân phối chuẩn
• HMM mô hình hóa chuỗi thời gian với phân phối xác suất chuyển trạng thái và phát xạ

Xem chi tiết ứng dụng trong The Gaussian Process Cookbook.

Chuẩn hóa dữ liệu và phân phối chuẩn hóa

Trong thực hành thống kê và học máy, dữ liệu thường được chuẩn hóa để dễ so sánh hoặc để phù hợp với giả định mô hình. Một biến ngẫu nhiên chuẩn hóa có kỳ vọng 0 và độ lệch chuẩn 1:

$Z = \frac{X - \mu}{\sigma}$

Chuẩn hóa đặc biệt hữu ích khi sử dụng phân phối chuẩn chuẩn hoá $\mathcal{N}(0,1)$, giúp tra bảng xác suất dễ dàng hoặc đơn giản hóa việc ước lượng xác suất tích lũy. Phân phối chuẩn hóa cũng là công cụ thiết yếu trong phân tích PCA, hồi quy tuyến tính và mô hình mạng nơ-ron.

Ước lượng và kiểm định phân phối

Khi làm việc với dữ liệu thực tế, phân phối của biến ngẫu nhiên thường không biết trước và cần được ước lượng từ dữ liệu quan sát. Các phương pháp bao gồm:

• Histogram: Phân chia dữ liệu thành các lớp và tính tần suất tương đối
• KDE (Kernel Density Estimation): Phương pháp phi tham số sử dụng hàm nhân để xấp xỉ mật độ
• Maximum Likelihood Estimation (MLE): Ước lượng tham số của phân phối giả định sao cho xác suất tạo ra dữ liệu là lớn nhất

Sau khi ước lượng, ta có thể kiểm định xem dữ liệu có tuân theo một phân phối cụ thể hay không bằng các phép kiểm định giả thuyết:

• Kolmogorov–Smirnov test: So sánh CDF thực nghiệm và CDF lý thuyết
• Chi-square goodness-of-fit: So sánh tần suất quan sát và kỳ vọng trong từng lớp
• Anderson–Darling test: Nhấn mạnh sự khác biệt ở đuôi phân phối

Tham khảo thêm tại NIST Engineering Statistics Handbook.

Tài liệu tham khảo

1. Casella, G., & Berger, R. L. (2002). Statistical Inference. Duxbury.
2. DeGroot, M. H., & Schervish, M. J. (2012). Probability and Statistics. Addison-Wesley.
3. Murphy, K. P. (2012). Machine Learning: A Probabilistic Perspective. MIT Press.
4. Van der Vaart, A. W. (1998). Asymptotic Statistics. Cambridge University Press.
5. Jain, A. K. et al. (2000). Statistical pattern recognition: A review. IEEE Transactions on Pattern Analysis, 22(1), 4–37.
6. Silverman, B. W. (1986). Density Estimation for Statistics and Data Analysis. Chapman & Hall.